期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 基于深度注意力网络的课堂教学视频中学生表情识别与智能教学评估
于婉莹, 梁美玉, 王笑笑, 陈徵, 曹晓雯
《计算机应用》唯一官方网站    2022, 42 (3): 743-749.   DOI: 10.11772/j.issn.1001-9081.2021040846
摘要498)   HTML17)    PDF (746KB)(238)    收藏

为了解决复杂课堂场景下学生表情识别的遮挡的问题,同时发挥深度学习在智能教学评估应用上的优势,提出了一种基于深度注意力网络的课堂教学视频中学生表情识别模型与智能教学评估算法。构建了课堂教学视频库、表情库和行为库,利用裁剪和遮挡策略生成多路人脸图像,在此基础上构建了多路深度注意力网络,并通过自注意力机制为多路网络分配不同权重。通过约束损失函数限制各路权重的分配,将人脸图像的全局特征表示为每个支路的特征乘上注意力权重的和除以所有支路的注意力权重之和,并基于学习到的人脸全局特征进行学生课堂表情分类,实现遮挡情况下学生人脸表情识别。提出了融合课堂学生表情和行为状态的智能教学评估算法,实现了课堂教学视频中学生表情识别与智能教学评估。在公开数据集FERplus与自建课堂教学视频数据集上进行实验对比与分析,验证了提出的课堂教学视频中学生表情识别模型能够达到87.34%的准确率,且提出的融合课堂学生表情和行为状态的智能教学评估算法在课堂教学视频数据集上也取得优秀的性能。

图表 | 参考文献 | 相关文章 | 多维度评价
2. 基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别
黄勇康, 梁美玉, 王笑笑, 陈徵, 曹晓雯
《计算机应用》唯一官方网站    2022, 42 (3): 736-742.   DOI: 10.11772/j.issn.1001-9081.2021040845
摘要785)   HTML41)    PDF (2130KB)(447)    收藏

针对课堂教学场景遮挡严重、学生众多,以及目前的视频行为识别算法并不适用于课堂教学场景,且尚无学生课堂行为的公开数据集的问题,构建了课堂教学视频库以及学生课堂行为库,提出了基于深度时空残差卷积神经网络的课堂教学视频中实时多人学生课堂行为识别算法。首先,结合实时目标检测和跟踪,得到每个学生的实时图片流;接着,利用深度时空残差卷积神经网络对每个学生行为的时空特征进行学习,从而实现课堂教学场景中面向多学生目标的课堂行为的实时识别;此外,构建了智能教学评估模型,并设计实现了基于学生课堂行为识别的智能教学评估系统,助力教学质量的提升,以实现智慧教育。通过在课堂教学视频数据集上进行实验对比与分析,验证了提出的课堂教学视频中实时多人学生课堂行为识别模型能够达到88.5%的准确率,且所构建的基于课堂行为识别的智能教学评估系统在课堂教学视频数据集上也已取得较好的运行效果。

图表 | 参考文献 | 相关文章 | 多维度评价